Global Optimization based on Contractor Programming: an Overview of the IBEX library

International audienceIBEX is an open-source C++ library for constraint processing over real numbers. It provides reliable algorithms for handling non-linear constraints. In particular, roundoff errors are also taken into account. It is based on interval arithmetic and affine arithmetic. The main feature of IBEX is its ability to build strategies declaratively through the contractor programming paradigm. It can also be used as a black-box solver or with an AMPL interface. Two emblematic problems that can be addressed are: (i) System solving: A guaranteed enclosure for each solution of a system of (nonlinear) equations is calculated; (ii) Global optimization: A global minimizer of some function under non-linear constraints is calculated with guaranteed and reliable bounds on the objective minimum

Global Optimization based on Contractor Programming

International audienceIn this paper, we will present a general pattern based on contractor programmingfor designing a global optimization solver. This approach allows to solve problems with awide variety of constraints. The complexity and the performance of the algorithm rely on theconstruction of contractors which characterize the feasible region

Global Optimization of H ∞ problems: Application to robust control synthesis under structural constraints

International audienceIn this paper, a new technique to compute a synthesis structured Robust Control Law is developed. This technique is based on global optimization methods using a Branch-and-Bound algorithm. The original problem is reformulated as a min/max problem with non-convex constraint. Our approach uses interval arithmetic to compute bounds and accelerate the convergence

Optimisation Globale basée sur l'Analyse d'Intervalles : Relaxation Affine et Limitation de la Mémoire

Depuis une vingtaine d'années, la résolution de problèmes d'optimisation globale non convexes avec contraintes a connu un formidable essor. Les algorithmes de branch and bound basée sur l'analyse d'intervalles ont su trouver leur place, car ils ont l'avantage de prouver l'optimalité de la solution de façon déterministe, avec un niveau de certitude pouvant aller jusqu'à la précision machine. Cependant, la complexité exponentielle en temps et en mémoire de ces algorithmes induit une limite intrinsèque, c'est pourquoi il est toujours nécessaire d'améliorer les techniques actuelles. Dans cette thèse, nous avons développé de nouvelles arithmétiques basées sur l'arithmétique d'intervalles et l'arithmétique affine, afin de calculer des minorants et des majorants de meilleure qualité de fonctions explicites sur un intervalle. Nous avons ensuite développé une nouvelle méthode automatique de construction de relaxations linéaires. Cette construction est basée sur l'arithmétique affine et procède par surcharge des opérateurs. Les programmes linéaires ainsi générés ont exactement le même nombre de variables et de contraintes d'inégalité que les problèmes originaux, les contraintes d'égalité étant remplacées par deux inégalités. Cette nouvelle procédure permet de calculer des minorants fiables et des certificats d'infaisabilité pour chaque sous-domaine à chaque itération de notre algorithme de branch and bound par intervalles. De nombreux tests numériques issus du site COCONUT viennent confirmer l'efficacité de cette approche. Un autre aspect de cette thèse a été l'étude d'une extension de ce type d'algorithmes en introduisant une limite sur mémoire disponible. L'idée principale de cette approche est de proposer un processus inverse de l'optimisation par le biais d'un principe métaheuristique : plutôt que d'améliorer des solutions locales à l'aide de métaheuristiques telles que les algorithmes Taboo ou VNS, nous partons d'une méthode exacte et nous la modifions en une heuristique. De cette façon, la qualité de la solution trouvée peut être évaluée. Une étude de la complexité de ce principe métaheuristique a également été effectuée. Enfin, pour finir l'étude, nous avons appliqué notre algorithme à la résolution de problème en géométrie plane, ainsi qu'à la résolution d'un problème de dimensionnement de moteur électrique. Les résultats obtenus ont permis de confirmer l'intérêt de ce type d'algorithme, en résolvant des problèmes ouverts sur les polygones convexes et proposant des structures innovantes en génie électrique. ABSTRACT : Since about thirty years, interval Branch and Bound algorithms are increasingly used to solve constrained global optimization problems in a deterministic way. Such algorithms are reliable, i.e., they provide an optimal solution and its value with guaranteed bounds on the error, or a proof that the problem under study is infeasible. Other approaches to global optimization, while useful and often less time-consuming than interval methods, do not provide such a guarantee. However, the exponential complexity in time and memory of interval Branch and Bound algorithms implies a limitation, so it is always necessary to improve these methods. In this thesis, we have developed new arithmetics based on interval arithmetic and affine arithmetic, to compute better lower and upper bounds of a factorable function over an interval. An automatic method for constructing linear relaxations of constrained global optimization problems is proposed. Such a construction is based on affine and interval arithmetics and uses operator overloading. These linear programs have exactly the same numbers of variables and of inequality constraints as the given problems. Each equality constraint is replaced by two inequalities. This new procedure for computing reliable bounds and certificates of infeasibility is inserted into a classical interval Branch and Bound algorithm. Extensive computation experiments, made on a sample of test problems from the COCONUT database, prove its effectiveness. Another aspect is the study of an extension of such a global optimization code by limiting the available memory. The main idea of this new kind of metaheuristique is to propose a reverse process of optimization via heuristics : rather than improving local solutions by using metaheuristics such as Taboo or VNS, we begin with an exact method and we modify it into a heuristic one. In such a way, the quality of the solution could be evaluated. Moreover, a study of the complexity of this metaheurisque has been done. Finally, we applied our algorithm to solve open problem in geometry, and to solve a design problem of an electric motor. The results have confirmed the usefulness of this kind of algorithms, solving open problems on convex polygons and offering innovative structures in electrical engineering

Computing an Inner and an Outer Approximation of the Viability Kernel

International audienceThe viability kernel corresponds to the set of all state vectors of a controlled dynamic system that are viable, i.e., such that there exists an input such that the system will not enter inside a forbidden zone. In this paper, we propose a method which computes an inner and an outer approximation of the viability kernel in a guaranteed way. Our method is based on interval analysis and uses the notions of V-viability and capture basin. We illustrate our approach on the car on the hill problem. A software package has been developed to solve any 2D-problem

Optimisation globale pour la résolution de problèmes parcimonieux en norme l0l_0

International audienceL’approximation parcimonieuse vise à obtenir une solution approchée d’un système linéaire ayant le moins de composantes nonnulles possible. Elle peut s’exprimer sous la forme d’un problème d’optimisation bi-objectif dans lequel sont minimisées une mesure de fidélitéaux données et la « norme » $l_0$ mesurant la parcimonie. Ce problème, essentiellement combinatoire, est souvent contourné par la relaxationconvexe de la norme $l_0$ , ou par des techniques heuristiques d’exploration combinatoire partielle. Cependant, pour de nombreux problèmesinverses, de telles approches échouent à déterminer le minimum global. Nous proposons l’optimisation globale de ces problèmes en norme $l_0$par l’intermédiaire de programmes mixtes en nombres entiers, mêlant variables réelles et entières. Des formulations contraintes et pénaliséessont proposées, pour différentes mesures $l_p$ de fidélité aux données. L’efficacité algorithmique de ces formulations est évaluée sur des donnéessimulées de déconvolution impulsionnelle. Nous montrons que la résolution exacte de tels problèmes est faisable pour des problèmes inverses detaille raisonnable, pour lesquels les solutions classiques échouent à localiser la solution et l’exploration combinatoire serait prohibitive

Global Optimization based on Interval Analysis : affine Relaxation and Limited Memory

Depuis une vingtaine d’années, la résolution de problèmes d’optimisation globale non convexes avec contraintes a connu un formidable essor. Les algorithmes de branch and bound basée sur l’analyse d’intervalles ont su trouver leur place, car ils ont l’avantage de prouver l’optimalité de la solution de façon déterministe, avec un niveau de certitude pouvant aller jusqu’à la précision machine. Cependant, la complexité exponentielle en temps et en mémoire de ces algorithmes induit une limite intrinsèque, c’est pourquoi il est toujours nécessaire d’améliorer les techniques actuelles. Dans cette thèse, nous avons développé de nouvelles arithmétiques basées sur l’arithmétique d’intervalles et l’arithmétique affine, afin de calculer des minorants et des majorants de meilleure qualité de fonctions explicites sur un intervalle. Nous avons ensuite développé une nouvelle méthode automatique de construction de relaxations linéaires. Cette construction est basée sur l’arithmétique affine et procède par surcharge des opérateurs. Les programmes linéaires ainsi générés ont exactement le même nombre de variables et de contraintes d’inégalité que les problèmes originaux, les contraintes d’égalité étant remplacées par deux inégalités. Cette nouvelle procédure permet de calculer des minorants fiables et des certificats d’infaisabilité pour chaque sous-domaine à chaque itération de notre algorithme de branch and bound par intervalles. De nombreux tests numériques issus du site COCONUT viennent confirmer l’efficacité de cette approche. Un autre aspect de cette thèse a été l’étude d’une extension de ce type d’algorithmes en introduisant une limite sur mémoire disponible. L’idée principale de cette approche est de proposer un processus inverse de l’optimisation par le biais d’un principe métaheuristique : plutôt que d’améliorer des solutions locales à l’aide de métaheuristiques telles que les algorithmes Taboo ou VNS, nous partons d’une méthode exacte et nous la modifions en une heuristique. De cette façon, la qualité de la solution trouvée peut être évaluée. Une étude de la complexité de ce principe métaheuristique a également été effectuée. Enfin, pour finir l’étude, nous avons appliqué notre algorithme à la résolution de problème en géométrie plane, ainsi qu’à la résolution d’un problème de dimensionnement de moteur électrique. Les résultats obtenus ont permis de confirmer l’intérêt de ce type d’algorithme, en résolvant des problèmes ouverts sur les polygones convexes et proposant des structures innovantes en génie électrique.Since about thirty years, interval Branch and Bound algorithms are increasingly used to solve constrained global optimization problems in a deterministic way. Such algorithms are reliable, i.e., they provide an optimal solution and its value with guaranteed bounds on the error, or a proof that the problem under study is infeasible. Other approaches to global optimization, while useful and often less time-consuming than interval methods, do not provide such a guarantee. However, the exponential complexity in time and memory of interval Branch and Bound algorithms implies a limitation, so it is always necessary to improve these methods. In this thesis, we have developed new arithmetics based on interval arithmetic and affine arithmetic, to compute better lower and upper bounds of a factorable function over an interval. An automatic method for constructing linear relaxations of constrained global optimization problems is proposed. Such a construction is based on affine and interval arithmetics and uses operator overloading. These linear programs have exactly the same numbers of variables and of inequality constraints as the given problems. Each equality constraint is replaced by two inequalities. This new procedure for computing reliable bounds and certificates of infeasibility is inserted into a classical interval Branch and Bound algorithm. Extensive computation experiments, made on a sample of test problems from the COCONUT database, prove its effectiveness. Another aspect is the study of an extension of such a global optimization code by limiting the available memory. The main idea of this new kind of metaheuristique is to propose a reverse process of optimization via heuristics : rather than improving local solutions by using metaheuristics such as Taboo or VNS, we begin with an exact method and we modify it into a heuristic one. In such a way, the quality of the solution could be evaluated. Moreover, a study of the complexity of this metaheurisque has been done. Finally, we applied our algorithm to solve open problem in geometry, and to solve a design problem of an electric motor. The results have confirmed the usefulness of this kind of algorithms, solving open problems on convex polygons and offering innovative structures in electrical engineering

Optimisation globale basée sur les contracteurs : Application au contrôle aérien

International audienceMots-clés : optimisation globale, contractor programming, arithmétique d'intervalles, contrôle aérien. 1 Modélisation du problème L'automatisation et l'aide à la décision en contrôle aérien sont des enjeux majeurs pour les années à venir. L'augmentation du trafic étant inéluctable, les problèmes d'optimisation et de satisfaction de contraintes qui en découlent sont étudiés depuis plusieurs années par la communauté scientifique. Néanmoins, la difficulté de ces problèmes est encore présente, notamment par le caractère temporel de certaines contraintes. En effet, pour qu'une trajectoire soit valide, il faut pouvoir certifier que tout au long du vol la distance entre deux avions est toujours supérieure à 5 nautique. Dans cet article, nous présenterons une approche basée sur la programmation par contracteurs pour résoudre le problème d'élimination des conflits aériens par variation de la vitesse des avions. Notre approche s'inspire de la modélisation développée par Cafieri et Durand dans [2]. Pour simplifier la modélisation, nous allons supposer que chaque avion a le droit de changer sa vitesse uniquement pendant un intervalle de temps continu. La trajectoire de chaque avion est rectiligne et une fois le conflit aérien évité, chaque avion reprend à sa vitesse initiale. Pour faciliter la représentation graphique, nous nous limiterons au cas planaire, mais l'étude suivante peut très bien être étendue au cas à trois dimensions. Pour un avion i, notons x i (t) sa trajectoire pour tout t ∈ [0, t end ], p i ∈ R 2 la position initiale de l'avion à t = 0, v i ∈ R 2 la vitesse initiale de l'avion, t m i le temps auquel l'avion modifie sa vitesse (que l'on suppose instantanée), q i la variation de vitesse et δ i la durée du changement de vitesse. L'équation de la trajectoire d'un avion s'écrit : ∀t ∈ [0, t end ], x i (t)

Continuous Global Optimization based on Contractor Programming

International audienceContractor Programming is a methodology which allows to enclose each algorithm in a unify framework, in order to interact heterogeneous formulations or techniques. In this talk, we will present a general pattern based on contractor programming for designing a global optimization solver. This approach is based on Interval Analysis and can deal with problems with a wide variety of constraints. Using Contractor Programming, we will show a user-friendly way to solve problems with non-smooth functions, disjunctive constraints, non-mathematical constraints (such as "stay in an area defined by a polygon") and constraints with quantifiers (such as ForAll and Exists).This approach allows to design, in a single step, a model and a solver for a given problem. This framework is implemented in the library IBEX (http ://www.ibex-lib.org) which is free available. The goal of this library is to give all tools to the users for designing easily the best solver for its own problem

Decision-Making and Artificial Intelligence: From Technical Mechanisms to Legal Concepts

International audienceEach decision-making process using artificial intelligence requires preparatory calculations. Each method delivers a set of justifications which are more or less precise for the decisions proposed. The method chosen is, in itself, part of the final decision and depends on the context and the knowledge available. Thus, it is difficult to know if a decision is due to the decision-making process, its use, or the knowledge on which it has been designed. Moreover, it becomes almost impossible to untangle the decision when the method itself has been chosen by a decision-making process, or when the knowledge that is inputted has been generated by another process. With this multidisciplinary complexity, the analysis of a decision may require several experts in order to discover which part of the process influenced the decision the most. It becomes “artificial” to determine who among the algorithm developer, the software manufacturer, and the user of the decision-making system is liable as such, and therefore burdened with contracting comprehensive insurance. Using a multidisciplinary approach, this article explores how the intrinsically collective dimension of a decision-making process can be translated into French civil law.Chaque processus d'aide à la décision utilisé par une intelligence artificielle nécessite des calculs préparatoires. Chaque méthode apporte un ensemble de justifications plus ou moins précises sur les décisions proposées. La méthode choisie est en soi une part de la décision finale, et elle dépend du contexte et des connaissances disponibles. Ainsi, il est difficile de savoir si une décision est due au processus d'aide à la décision, à son utilisation, ou encore à la connaissance sur laquelle le processus a été conçu. Mais il devient pratiquement impossible de démêler la décision lorsque la méthode est elle-même choisie par un processus d'aide à la décision ou encore lorsque les connaissances sont générées automatiquement par un autre processus. Avec cette complexité multidisciplinaire, l'analyse de la décision nécessiterait de faire appel à plusieurs experts afin de découvrir quelle partie du processus l'a le plus influencée. Entre le(s) concepteur(s) de l'algorithme, le fabricant du logiciel et l'utilisateur du système d'aide à la décision, il devient « artificiel » de déterminer lequel constituera le débiteur de responsabilité, chargé aussi de s'assurer contre le risque. Cet article analyse, dans une perspective pluridisciplinaire, comment traduire sur le plan du droit français la dimension intrinsèquement collective d'un processus d'aide à la décision